Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
 Аватар для VistaSV30
986 / 330 / 79
Регистрация: 10.04.2012
Сообщений: 1,239
Записей в блоге: 4

Выгрузка из базы Access в Pandas

06.03.2021, 18:12. Показов 5033. Ответов 1

Студворк — интернет-сервис помощи студентам
Добрый день!
Пытаюсь загрузить данные из Access в фрейм Pandas. 500 тыс. строк и 27 колонок.
Код такой. Процесс идет уже больше часа!!!
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
# Создание связи с БД Access
connStr = (r"DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};" r"DBQ=d:\FR\FR.accdb;")
conn = sqlMS.connect(connStr) # создать соединение с БД
cursor = conn.cursor() # создать курсор 
strSQL = '''
SELECT FR2020.F5, FR2020.F71, FR2020.F1, FR2020.F26, [F43]+[F44] AS S, FR2020.F61, FR2020.F62, FR2020.F63, FR2020.F64, FR2020.F65, FR2020.F66, FR2020.F157, FR2020.F158, FR2020.F67, FR2020.F68, FR2020.F159, FR2020.F160, FR2020.F72, FR2020.F73, FR2020.F74, [F83]+[F84]+[F85]+[F86]+[F87] AS T, [F91]+[F92]+[F93] AS Stv, FR2020.F100, FR2020.F101, FR2020.F102, FR2020.F161, FR2020.F175
FROM т08F12_Объекты INNER JOIN FR2020 ON т08F12_Объекты.F12 = FR2020.F12
WHERE (((FR2020.F4)=0) AND ((т08F12_Объекты.ОбъектТактика)=1))
'''
cursor.execute(strSQL) # выполнение запроса
df, i = pd.DataFrame(np.zeros((500000, 27))), -1
a, b = [0 for _ in range(500000)], [0 for _ in range(500000)] # списки для дат 
cursor.execute(strSQL)
for row in cursor.fetchall():
    i += 1
    a[i], b[i] = row[0], row[1]
    for j in range(2, 27):
        df[j][i] = row[j]
df[0], df[1] = a, b # даты
 
cursor.close()
del cursor
conn.close()
Сам запрос к базе Access выполняется буквально за 3-4 минуты. Данные в Access уже частично обработаны. В двух колонках даты, в остальных целые числа.
Задержка происходит при копировании данных во фрейм.

С фреймом дальше планируется провести несколько десятков математических действий...
Коллеги подскажите, пожалуйста, как правильно записывать данные во фрейм? Что бы это не тянулось часами...

Заранее благодарен!
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
06.03.2021, 18:12
Ответы с готовыми решениями:

выгрузка базы 1с
всем привет. делаем выгрузку базы 1с в dt файл. вопрос в том что выгрузка идет уже почти пол суток. база весит 1.2 гига, файл уже весит...

Выгрузка базы
Всем привет. Можно ли выгружать базу не беспокоя при этом пользователей 1с 8? 1С:Предприятие 8.2 (8.2.14.537), УПП 1.3 (1.3.24.2), файловый.

Выгрузка базы с 1С
Ту информацию которую мне нужно скачать лежит в журналах!!! Путь к моим файлам, которые мне очень необходимо выгрузить: Журналы -->...

1
 Аватар для VistaSV30
986 / 330 / 79
Регистрация: 10.04.2012
Сообщений: 1,239
Записей в блоге: 4
07.03.2021, 08:44  [ТС]
Нашел ответ!
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
import pandas as pd
import pyodbc as sqlMS # связь с Access
# ------ указать свой путь к базе данных
connStr = (r"DRIVER={Microsoft Access Driver (*.mdb, *.accdb)};" r"DBQ=c:\Users\Arlen\Python\DB_DateTime.accdb;") 
conn = sqlMS.connect(connStr) # создать соединение с БД
cursor = conn.cursor()
strSQL = '''
SELECT tbl_DT.* FROM tbl_DT
'''
df = pd.read_sql(strSQL, conn)
 
cursor.close()
del cursor
conn.close()
 
df
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
07.03.2021, 08:44
Помогаю со студенческими работами здесь

Выгрузка базы из 1С
Доброго времени суток. Пишу диплом: АС для отдела кадров. Хочу выгружать сотрудников из 1С7.7 Зарплата и кадры и загружать их в свою...

Выгрузка из базы данных
Подскажите как можно сделать выгрузку s sqlplus чтобы она выгружалась в txt и к примеру ставила точку с запятой вместо разделителя, она...

Выгрузка из 1с базы на сайт
моё задание: в бд 1с есть поля о состоянии счёта, эти данные нужно выгружать в сайт в определённые поля таблицы а потом для этих табличек...

Выгрузка данных из базы
Очень нужна ваша помощь, столкнулся с необходимостью выгрузки данных такого типа как на рисунке. Собственно, подскажите пожалуйста, как это...

Выгрузка файлов из базы
Добрый день. Коллеги пытаемся выгрузить файлы из базы. При нажатии кнопки DwnFile появляется ошибка: Object variable not set. База и...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
2
Ответ Создать тему
Новые блоги и статьи
SDL3 для Web (WebAssembly): Обработчик клика мыши в браузере ПК и касания экрана в браузере на мобильном устройстве
8Observer8 02.02.2026
Содержание блога Для начала пошагово создадим рабочий пример для подготовки к экспериментам в браузере ПК и в браузере мобильного устройства. Потом напишем обработчик клика мыши и обработчик. . .
Философия технологии
iceja 01.02.2026
На мой взгляд у человека в технических проектах остается роль генерального директора. Все остальное нейронки делают уже лучше человека. Они не могут нести предпринимательские риски, не могут. . .
SDL3 для Web (WebAssembly): Вывод текста со шрифтом TTF с помощью SDL3_ttf
8Observer8 01.02.2026
Содержание блога В этой пошаговой инструкции создадим с нуля веб-приложение, которое выводит текст в окне браузера. Запустим на Android на локальном сервере. Загрузим Release на бесплатный. . .
SDL3 для Web (WebAssembly): Сборка C/C++ проекта из консоли
8Observer8 30.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
SDL3 для Web (WebAssembly): Установка Emscripten SDK (emsdk) и CMake для сборки C и C++ приложений в Wasm
8Observer8 30.01.2026
Содержание блога Для того чтобы скачать Emscripten SDK (emsdk) необходимо сначало скачать и уставить Git: Install for Windows. Следуйте стандартной процедуре установки Git через установщик. . . .
SDL3 для Android: Подключение Box2D v3, физика и отрисовка коллайдеров
8Observer8 29.01.2026
Содержание блога Box2D - это библиотека для 2D физики для анимаций и игр. С её помощью можно определять были ли коллизии между конкретными объектами. Версия v3 была полностью переписана на Си, в. . .
Инструменты COM: Сохранение данный из VARIANT в файл и загрузка из файла в VARIANT
bedvit 28.01.2026
Сохранение базовых типов COM и массивов (одномерных или двухмерных) любой вложенности (деревья) в файл, с возможностью выбора алгоритмов сжатия и шифрования. Часть библиотеки BedvitCOM Использованы. . .
SDL3 для Android: Загрузка PNG с альфа-каналом с помощью SDL_LoadPNG (без SDL3_image)
8Observer8 28.01.2026
Содержание блога SDL3 имеет собственные средства для загрузки и отображения PNG-файлов с альфа-каналом и базовой работы с ними. В этой инструкции используется функция SDL_LoadPNG(), которая. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru