С Новым годом! Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
0 / 0 / 0
Регистрация: 29.08.2017
Сообщений: 24

Список List добавить в pd.DataFrame для сохранения в таблицу excel

27.11.2020, 17:20. Показов 2233. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Парсил ресурс - буржуйский инет - каталог. Получение данных - все прошло. Но появился вопрос. Как добавить список(cards) в моем случае в базу данных, для сохранения в excel. Сразу скажу, что другие способы записать полученные. спарсенные данные не канают у меня. pd.DataFrame - прокатил. Код рабочий. Но вот мой список cards приходиться копировать из консоли и потом ручками добавлять в pd.DataFrame. Прописывать, etc. Не true. А желательно чтобы мой cards лист появлялся в pd.DataFrame(cards).transpose(). Pycharm пишет, имя cards не определено. И вообще, как оптимизировать код? Какой-нибудь True кодер бы огорчился, наверняка лист, на пол страницы IDE -копировать из консоли и ручками вставлять в pd.DataFrame. И потом total резалт в excel не так настроен - вместо столбцов - строки.

Собственно, код:
_____________________
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
import requests
from bs4 import BeautifulSoup
import os
import xlsxwriter
import pandas as pd
 
URL = 'https://mastermoz.com/entertainment/movies/{}/'
# HOST = 'https://wordpress.org'
HEADERS = {
    'accept': '/////',
    'user-agent': '......'
}
 
 
def get_html(url, params=''):
    r = requests.get(url, headers=HEADERS, params=params)
    return r.text
 
 
def get_content(html):      #get_page_data
    soup = BeautifulSoup(html, 'lxml')
    items = soup.find_all('div', class_='card-img-overlay-bottom z-index-20')
        # plugins = popular.find_all('article')
 
    cards = []
 
    for item in items:
        cards.append({
            'name': item.find('h4', class_='text-white text-shadow').text,
            'url': item.find('a', class_='title-link').get('href')
        })
    # print(cards)
# html = get_html(URL)
# print(get_content(html. text)) #почему это не проходит, стринг без метода текст просит, странно
cards = [.....здесь отображается длинный список полученных данных в формате списка, получен в print(cards)]
df = pd.DataFrame(cards).transpose()
writer = pd.ExcelWriter('Wordpress.xlsx', engine='xlsxwriter')
df.to_excel(writer, sheet_name='Sheet1')
workbook = writer.book
worksheet = writer.sheets['Sheet1']
format1 = workbook.add_format({'num_format': '#,##0.00'})
format2 = workbook.add_format({'num_format': '0%'})
worksheet.set_column('B:B', 80, format1)
worksheet.set_column('C:C', 35, format1)
worksheet.conditional_format('B2:B8', {'type': '3_color_scale'})
writer.save()
 
def main():
    pattern = 'https://mastermoz.com/entertainment/movies/{}/'
 
 
    for i in range(1, 3):
        url = pattern.format(str(i))
        # print(url)
        get_content(get_html(url))
 
 
 
if __name__ == '__main__':
    main()
Добавлено через 2 часа 20 минут
Как то все срослось: спарсенные данные записываются в таблицу. Данные cards.append добавляются в итоговую таблицу excel. Но криво: вместо столбцов - строки. Как поменять? В excel самом - элементарно. Как в python данный код настроить, в excel таблица была правильная, а не поменяные столбцы на строки.

Добавлено через 1 час 40 минут
О черт, я сам намудрил, не разобравшись в документации pandas/ Строка df = pd.DataFrame(cards).transpose() сама же и меняет местами строки и столбцы. Убрать ее, нафиг. Все срастается. Закрывайте тему Вопрос решен.
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
27.11.2020, 17:20
Ответы с готовыми решениями:

Как добавить запись в таблицу без сохранения
Есть DBGrid с таблицей из БД. В нем можно редактировать записи и добавлять новые. Я пытаюсь сделать добавление записи в новой форме и...

Добавить функцию автоматического сохранения в Excel
Привет Не могу добавить функцию автоматического сохранения. Кстати это API. Данные находятся в файлу Excel. Там 1600-1800 строк. Все эти...

Создать список типа List, хранящий символы.  Добавить к нему в тот же список, символы, стоящие на четных местах. Вывест
Создать список типа List, хранящий символы.  Добавить к нему в тот же список, символы, стоящие на четных местах. Вывести результат на...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
27.11.2020, 17:20
Помогаю со студенческими работами здесь

Добавить в список List экземпляр класса
Здравствуйте. Помогите справиться с тупой проблемой, пожалуйста. Есть классы public class Men:World public class World:Form1 ...

Добавить Excel таблицу в 1C
Помогите пожалуйста! Надо добавить Excel таблицу в 1C с помощью программы C#. Уже месяц пытаюсь, никак не могу сделать! Подскажите...

Добавить данные в Excel таблицу
У меня есть кнопка, которая открывает фаил и часть кода, который находит последнюю пустую строку и заполняем ее, но я не могу реализовать...

Добавить данные из Excel документа в таблицу
Здравствуйте всем! Сделал БД и в нее надо добавить данные из Excel в таблицу БД Документов (названия полей в таблице совпадает с названием...

ProgressBar для сохранения данных в Excel
Здравствуй, нужна ваша помощь. Нужен progressbar, который будет заполнятся по мере записи данных в exel gridDetail.SaveToXLS. Как можно...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Модель микоризы: классовый агентный подход
anaschu 02.01.2026
Раньше это было два гриба и бактерия. Теперь три гриба, растение. И на уровне агентов добавится между грибами или бактериями взаимодействий. До того я пробовал подход через многомерные массивы,. . .
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути
Programma_Boinc 01.01.2026
Учёным и волонтёрам проекта «Einstein@home» удалось обнаружить четыре гамма-лучевых пульсара в джете Млечного Пути Сочетание глобально распределённой вычислительной мощности и инновационных. . .
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост.
Programma_Boinc 28.12.2025
Советы по крайней бережливости. Внимание, это ОЧЕНЬ длинный пост. Налог на собак: https:/ / **********/ gallery/ V06K53e Финансовый отчет в Excel: https:/ / **********/ gallery/ bKBkQFf Пост отсюда. . .
Кто-нибудь знает, где можно бесплатно получить настольный компьютер или ноутбук? США.
Programma_Boinc 26.12.2025
Нашел на реддите интересную статью под названием Anyone know where to get a free Desktop or Laptop? Ниже её машинный перевод. После долгих разбирательств я наконец-то вернула себе. . .
Thinkpad X220 Tablet — это лучший бюджетный ноутбук для учёбы, точка.
Programma_Boinc 23.12.2025
Рецензия / Мнение/ Перевод Нашел на реддите интересную статью под названием The Thinkpad X220 Tablet is the best budget school laptop period . Ниже её машинный перевод. Thinkpad X220 Tablet —. . .
PhpStorm 2025.3: WSL Terminal всегда стартует в ~
and_y87 14.12.2025
PhpStorm 2025. 3: WSL Terminal всегда стартует в ~ (home), игнорируя директорию проекта Симптом: После обновления до PhpStorm 2025. 3 встроенный терминал WSL открывается в домашней директории. . .
Как объединить две одинаковые БД Access с разными данными
VikBal 11.12.2025
Помогите пожалуйста !! Как объединить 2 одинаковые БД Access с разными данными.
Новый ноутбук
volvo 07.12.2025
Всем привет. По скидке в "черную пятницу" взял себе новый ноутбук Lenovo ThinkBook 16 G7 на Амазоне: Ryzen 5 7533HS 64 Gb DDR5 1Tb NVMe 16" Full HD Display Win11 Pro
Музыка, написанная Искусственным Интеллектом
volvo 04.12.2025
Всем привет. Некоторое время назад меня заинтересовало, что уже умеет ИИ в плане написания музыки для песен, и, собственно, исполнения этих самых песен. Стихов у нас много, уже вышли 4 книги, еще 3. . .
От async/await к виртуальным потокам в Python
IndentationError 23.11.2025
Армин Ронахер поставил под сомнение async/ await. Создатель Flask заявляет: цветные функции - провал, виртуальные потоки - решение. Не threading-динозавры, а новое поколение лёгких потоков. Откат?. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru