Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 Аватар для VistaSV30
987 / 331 / 79
Регистрация: 10.04.2012
Сообщений: 1,242
Записей в блоге: 4

Выгрузка из базы Access в Pandas

06.03.2021, 18:12. Показов 5071. Ответов 1

Студворк — интернет-сервис помощи студентам
Добрый день!
Пытаюсь загрузить данные из Access в фрейм Pandas. 500 тыс. строк и 27 колонок.
Код такой. Процесс идет уже больше часа!!!
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# Создание связи с БД Access
connStr = (r"DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};" r"DBQ=d:\FR\FR.accdb;")
conn = sqlMS.connect(connStr) # создать соединение с БД
cursor = conn.cursor() # создать курсор 
strSQL = '''
SELECT FR2020.F5, FR2020.F71, FR2020.F1, FR2020.F26, [F43]+[F44] AS S, FR2020.F61, FR2020.F62, FR2020.F63, FR2020.F64, FR2020.F65, FR2020.F66, FR2020.F157, FR2020.F158, FR2020.F67, FR2020.F68, FR2020.F159, FR2020.F160, FR2020.F72, FR2020.F73, FR2020.F74, [F83]+[F84]+[F85]+[F86]+[F87] AS T, [F91]+[F92]+[F93] AS Stv, FR2020.F100, FR2020.F101, FR2020.F102, FR2020.F161, FR2020.F175
FROM т08F12_Объекты INNER JOIN FR2020 ON т08F12_Объекты.F12 = FR2020.F12
WHERE (((FR2020.F4)=0) AND ((т08F12_Объекты.ОбъектТактика)=1))
'''
cursor.execute(strSQL) # выполнение запроса
df, i = pd.DataFrame(np.zeros((500000, 27))), -1
a, b = [0 for _ in range(500000)], [0 for _ in range(500000)] # списки для дат 
cursor.execute(strSQL)
for row in cursor.fetchall():
    i += 1
    a[i], b[i] = row[0], row[1]
    for j in range(2, 27):
        df[j][i] = row[j]
df[0], df[1] = a, b # даты
 
cursor.close()
del cursor
conn.close()
Сам запрос к базе Access выполняется буквально за 3-4 минуты. Данные в Access уже частично обработаны. В двух колонках даты, в остальных целые числа.
Задержка происходит при копировании данных во фрейм.

С фреймом дальше планируется провести несколько десятков математических действий...
Коллеги подскажите, пожалуйста, как правильно записывать данные во фрейм? Что бы это не тянулось часами...

Заранее благодарен!
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
06.03.2021, 18:12
Ответы с готовыми решениями:

выгрузка базы 1с
всем привет. делаем выгрузку базы 1с в dt файл. вопрос в том что выгрузка идет уже почти пол суток. база весит 1.2 гига, файл уже весит...

Выгрузка базы
Всем привет. Можно ли выгружать базу не беспокоя при этом пользователей 1с 8? 1С:Предприятие 8.2 (8.2.14.537), УПП 1.3 (1.3.24.2), файловый.

Выгрузка базы с 1С
Ту информацию которую мне нужно скачать лежит в журналах!!! Путь к моим файлам, которые мне очень необходимо выгрузить: Журналы -->...

1
 Аватар для VistaSV30
987 / 331 / 79
Регистрация: 10.04.2012
Сообщений: 1,242
Записей в блоге: 4
07.03.2021, 08:44  [ТС]
Нашел ответ!
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import pandas as pd
import pyodbc as sqlMS # связь с Access
# ------ указать свой путь к базе данных
connStr = (r"DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};" r"DBQ=c:\Users\Arlen\Python\DB_DateTime.accdb;") 
conn = sqlMS.connect(connStr) # создать соединение с БД
cursor = conn.cursor()
strSQL = '''
SELECT tbl_DT.* FROM tbl_DT
'''
df = pd.read_sql(strSQL, conn)
 
cursor.close()
del cursor
conn.close()
 
df
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
07.03.2021, 08:44
Помогаю со студенческими работами здесь

Выгрузка базы из 1С
Доброго времени суток. Пишу диплом: АС для отдела кадров. Хочу выгружать сотрудников из 1С7.7 Зарплата и кадры и загружать их в свою...

Выгрузка из базы данных
Подскажите как можно сделать выгрузку s sqlplus чтобы она выгружалась в txt и к примеру ставила точку с запятой вместо разделителя, она...

Выгрузка из 1с базы на сайт
моё задание: в бд 1с есть поля о состоянии счёта, эти данные нужно выгружать в сайт в определённые поля таблицы а потом для этих табличек...

Выгрузка данных из базы
Очень нужна ваша помощь, столкнулся с необходимостью выгрузки данных такого типа как на рисунке. Собственно, подскажите пожалуйста, как это...

Выгрузка файлов из базы
Добрый день. Коллеги пытаемся выгрузить файлы из базы. При нажатии кнопки DwnFile появляется ошибка: Object variable not set. База и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
Команды "Заполнить" и "Очистить" на форме документа
Maks 26.03.2026
1. Команда формы "ЗаполнитьЗапчасти". На примере нетипового документа разработанного в конфигурации КА2. В качестве источника данных указан регистр накопления, в который записываются данные о. . .
Кому нужен AOT?
DevAlt 26.03.2026
Решил сделать простой ланчер Написал заготовку: dotnet new console --aot -o UrlHandler var items = args. Split(":"); var tag = items; var id = items; var executable = args;. . .
Отправка уведомления на почту при изменении наименования справочника
Maks 24.03.2026
Программная отправка письма электронной почты на примере изменения наименования типового справочника "Склады" в конфигурации БП3. Перед реализацией необходимо выполнить настройку системной учетной. . .
модель ЗдравоСохранения 5. Меньше увольнений- больше дохода!
anaschu 24.03.2026
Теперь система здравосохранения уменьшает количество увольнений. 9TO2GP2bpX4 a42b81fb172ffc12ca589c7898261ccb/ https:/ / rutube. ru/ video/ a42b81fb172ffc12ca589c7898261ccb/ Слева синяя линия -. . .
Midnight Chicago Blues
kumehtar 24.03.2026
Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .
SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++
8Observer8 24.03.2026
Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip
Жизнь в неопределённости
kumehtar 23.03.2026
Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения.
anaschu 23.03.2026
geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru