Форум программистов, компьютерный форум, киберфорум
Python: Базы данных
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
1 / 1 / 0
Регистрация: 27.10.2018
Сообщений: 38

Как сохранить БД чтобы он был читабелен для Датафрейм?

10.03.2022, 22:52. Показов 626. Ответов 0
Метки нет (Все метки)

Студворк — интернет-сервис помощи студентам
Программа берет некоторую БД .csv, проводит с ними вычислительные манипуляции и после этого необходимо сохранить полученную БД чтобы он был читабелен с помощью Dask.Dataframe
При обратном чтении выгруженного файла в Python, должны сохранятся типы столбцов, которые были у датафрейма в цикле.
Предполагаю что нужно использовать csv файлы + отдельный конфигурационный файлик в котором указаны типы столбцов.
Основная функция выглядит следующим образом:
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
def LoadDataFromDB(con,table):                              #В этом блоке нужно записывать исходящие данные
    date_str = datetime.now().strftime("%d_%b_%Y_%H_%M_%S") 
    chunkS = 100
    filename = "./genfiles/" + date_str + ".gz"
 
    ExRates = ImportCSV("exchrates/Курсы Валют.csv") 
    log = open("logs/log_"+ date_str + ".txt","w+")
 
    pbar = tqdm(total=CountTableRows(con)/chunkS)
    dfSQL = pds.read_sql_query((SQL_columns + table + SQL_Where),con,chunksize=chunkS)  
    
    for i,chunk in enumerate(dfSQL):                        #В этом цикле после функции res сохраняем данные в файл
        print("Читаю Блок Данных...")
        res = Calculate(chunk,ExRates,log)
        df = dd.from_pandas(res, npartitions=3)
        print(chunk.dtypes)        
        pbar.update()                                                   
    pbar.close()
    log.close()
 
    return filename
Еще вопрос, как можно читать большой файл в одном датафрейме?
0
cpp_developer
Эксперт
20123 / 5690 / 1417
Регистрация: 09.04.2010
Сообщений: 22,546
Блог
10.03.2022, 22:52
Ответы с готовыми решениями:

Какой кнопкой упорядочить код, чтоб он был читабелен
В MVS есть такая кнопка или комбинация кнопок чтоб упорядочить код чтоб он был читабелен напомните пожалуйста ??

Кодировка текста, чтоб он был читабелен только программе
Как сделать программную кодировку текста. Чтоб он был читабелен только программе?

Переделать алгоритм шифрования так, чтобы ключ для расшифровки был публичным, а для зашифровки был приватным
Обычно при шифровании с помощью RSA публичным есть ключ для зашифровки а приватным для расшифровки. Как можно переделать алгоритм...

0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
raxper
Эксперт
30234 / 6612 / 1498
Регистрация: 28.12.2010
Сообщений: 21,154
Блог
10.03.2022, 22:52
Помогаю со студенческими работами здесь

Как сделать чтобы текст заголовка был посередине, а в тексте убрать скролл чтобы был весь текст?
Сам код:https://jsfiddle.net/nyqa7bdu/ Код в print.css @media print { div.ChildrenTop{ width: 1000px; height: 80px; } ...

Дописать показ слайдов, чтобы был путь для фото был по умолчанию?
Распространенный исходник "Показ слайдов" помогите дописать его что бы был путь для показа фото по умолчанию?

Как сделать чтобы Label был сверху картинки и был прозрачен?
Как сделать чтобы label был сверху картинки и он был прозрачен?

Как сделать, чтобы один объект был прозрачным для объекта, а для другой нет?
Например, я хочу чтобы кубик остался на панели, а шар упал. Возможно ли это как-то реализовать?

Внешний IP для KVM (как настроить чтобы был виден VM из интернета).
Доброе время суток Уважаемые ГУРУ Линуха! перерыл всю сеть уж башня треснет ... имеется сервер на площадке у HETZNER 1 IP получен...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
1
Ответ Создать тему
Новые блоги и статьи
Очистка реквизитов документа при копировании
Maks 09.04.2026
Алгоритм из решения ниже применим как для типовых, так и для нетиповых документов на самых различных конфигурациях. Задача: при копировании документа очищать определенные реквизиты и табличную. . .
модель ЗдравоСохранения 8. Подготовка к разному выполнению заданий
anaschu 08.04.2026
https:/ / github. com/ shumilovas/ med2. git main ветка * содержимое блока дэлэй из старой модели теперь внутри зайца новой модели 8ATzM_2aurI
Блокировка документа от изменений, если он открыт у другого пользователя
Maks 08.04.2026
Алгоритм из решения ниже реализован на примере нетипового документа, разработанного в конфигурации КА2. Задача: запретить редактирование документа, если он открыт у другого пользователя. / / . . .
Система безопасности+живучести для сервера-слоя интернета (сети). Двойная привязка.
Hrethgir 08.04.2026
Далее были размышления о системе безопасности. Сообщения с наклонным текстом - мои. А как нам будет можно проверить, что ссылка наша, а не подделана хулиганами, которая выбросит на другую ветку и. . .
Модель ЗдрввоСохранения 7: больше работников, больше ресурсов.
anaschu 08.04.2026
работников и заданий может быть сколько угодно, но настроено всё так, что используется пока что только 20% kYBz3eJf3jQ
Дальние перспективы сервера - слоя сети с космологическим дизайном интефейса карты и логики.
Hrethgir 07.04.2026
Дальнейшее ближайшее планирование вывело к размышлениям над дальними перспективами. И вот тут может быть даже будут нужны оценки специалистов, так как в дальних перспективах всё может очень сильно. . .
Горе от ума
kumehtar 07.04.2026
Эта мне ментальная установка, что вот прямо сейчас, мол, мне для полного счастья не хватает (нужное вписать), и когда я этого достигну - тогда и полный кайф. Одна из самых сильных ловушек на пути. . . .
Использование значений реквизитов справочника в документе, с определенными условиями и правами
Maks 07.04.2026
1. Контроль срока действия договора Алгоритм из решения ниже реализован на примере нетипового документа "ЗаявкаНаРаботу", разработанного в конфигурации КА2. Задача: уведомлять пользователя, если. . .
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru