Форум программистов, компьютерный форум, киберфорум
Python для начинающих
Войти
Регистрация
Восстановить пароль
Блоги Сообщество Поиск Заказать работу  
 
Рейтинг 4.75/4: Рейтинг темы: голосов - 4, средняя оценка - 4.75
 Аватар для BoyStyle
9 / 9 / 1
Регистрация: 24.02.2014
Сообщений: 333

Добавление данных в БД(оптимизация)

09.05.2022, 23:09. Показов 698. Ответов 2

Студворк — интернет-сервис помощи студентам
Всем привет, кто может помочь оптимизировать код:
Проблема в следующем, скрипт обрабатывает csv файл, берет из него строку и заносит сразу в бд, таким образом получается много инсерт-запросов, следовательно теряется скорость добавления данных. Не могу сообразить как нужно переписать данных участок кода, чтобы скажем брало сначала 100 строк, записывало их в какую переменную, а уже потом добавляло в БД.
На php это выглядит вот так, вроде все просто, а на пайтоне что-то не выходит

python-код
Кликните здесь для просмотра всего текста
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
    def parse(self, row: dict, table_name, file):
        correct_row = {}
        correct_row['addresses'] = [
            row['АДРЕС']
        ]
        correct_row['full_name'] = row['ФИО']
        email = []
        idents = []
        if row.get('ПОЧТА'):
            email.append(row.get('ПОЧТА'))
        if email:
            correct_row['email'] = email
            email, idents = self.email(email)
        correct_row["user"] = row.get('user_agent')
        correct_row["coo"] = f'{row.get("РОСТ")}, {row.get("ВЕС")}'
        note = []
        if row["КОД"]:
            note.append(f'КОД: {row["КОД"]}')
        if note:
            correct_row['note'] = '\n'.join(note)
            
        note = self.row_to_json(correct_row)
        try:
            with pg().connect(self.source_db) as conn:
                conn.execute(
                    f"""INSERT INTO "eda" VALUES ('{note}', '{idents}') ON CONFLICT ON CONSTRAINT "unique_eda" DO NOTHING;""")
        except Exception as e:
            self.write_log(
                f"Error: {e} when parcing row: {row}", level='error')
            raise Exception


php-код
Кликните здесь для просмотра всего текста

PHP
1
2
3
4
5
6
7
8
9
10
11
12
13
14
echo 'Тест на 10 инсертов (по 100 строк) отдельных<br>';
$startTimeStamp = microtime(true);
$tempStr = "";
for ($i = 1; $i <= 1000; $i++) {
  $tempStr .= "(10, 'Petr_$i', 'Random Comment'),";
  if (($i % 100) == 0) {
    $tempStr = trim($tempStr, ',');
    $result = $mysqli->query("INSERT INTO `test`(`age`, `name`, `comment`) VALUES ".$tempStr);
    $tempStr = "";
  }
}
$endTimeStamp = microtime(true);
$diff = round($endTimeStamp-$startTimeStamp, 3);
echo 'Время выполнения: '.$diff.'s';
0
Programming
Эксперт
39485 / 9562 / 3019
Регистрация: 12.04.2006
Сообщений: 41,671
Блог
09.05.2022, 23:09
Ответы с готовыми решениями:

Типы оптимизация: черная оптимизация, серая оптимизация и белая оптимизация
Много много лет назад, на заре становления профессии &quot;оптимизатора&quot; в какой то умной книжке был создан миф. Это миф о цветовой индефикации...

BBpress, оптимизация, добавление колонок и т.д
Поделюсь(продемонстрирую) своей темой на bbpress. Разрабатывается совместно с сайтом. Сейчас работаю над интеграцией последних сообщений с...

Добавление видео оптимизация загрузки
Как лучше добавлять видео yourtube на сайт, без модальных окон, что бы добавления видео не сказывались сильно на скорость загрузки...

2
Нарушающий
417 / 305 / 46
Регистрация: 13.04.2022
Сообщений: 1,759
09.05.2022, 23:17
Питонский код пытается подключиться к базе для каждой строчки. Не на это ли уходит время?
0
 Аватар для BoyStyle
9 / 9 / 1
Регистрация: 24.02.2014
Сообщений: 333
09.05.2022, 23:22  [ТС]
Именно, но не понимаю как его преобразовать правильно
0
Надоела реклама? Зарегистрируйтесь и она исчезнет полностью.
inter-admin
Эксперт
29715 / 6470 / 2152
Регистрация: 06.03.2009
Сообщений: 28,500
Блог
09.05.2022, 23:22
Помогаю со студенческими работами здесь

добавление страниц, изменение дизайна, оптимизация
Всем привет! 1. Сайт имеет не очень много страниц, по яндексу 54, но основная тема и среднечастотные 30-40 стр., по гуглу почему то окол....

Какая-то странная оптимизация кода после компиляции (добавление лишних переменных)
Вопрос чисто теоретический. Открыл в дизассемблере dotPeek свою программу, скомпилированную в конфигурации Release и обнаружил для себя...

Добавление данных в бд из input, а так же добавление картинки в папку и прописка пути
Здравствуйте, код для магазина. Есть форма с определенными полями , для упрощения сделала выбор таблицы для записи что бы потом выводить...

Создайте меню программы, состоящее из трех пунктов: удаление данных, добавление данных, просмотр данных
Создайте меню программы, состоящее из трех пунктов: удаление данных, добавление данных, просмотр данных. Программируйте запись текста в...

Выбор данных из полей со списком, занесение этих данных в список и добавление данных в таблицу
Подскажите пожалуйста, как что то подобное сделать в Access или посоветуйте хорошую литературу где это описывается.


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
3
Ответ Создать тему
Новые блоги и статьи
Загрузка PNG-файла с альфа-каналом с помощью библиотеки SDL3_image на Android
8Observer8 27.01.2026
Содержание блога SDL3_image - это библиотека для загрузки и работы с изображениями. Эта пошаговая инструкция покажет, как загрузить и вывести на экран смартфона картинку с альфа-каналом, то есть с. . .
влияние грибов на сукцессию
anaschu 26.01.2026
Бифуркационные изменения массы гриба происходят тогда, когда мы уменьшаем массу компоста в 10 раз, а скорость прироста биомассы уменьшаем в три раза. Скорость прироста биомассы может уменьшаться за. . .
Воспроизведение звукового файла с помощью SDL3_mixer при касании экрана Android
8Observer8 26.01.2026
Содержание блога SDL3_mixer - это библиотека я для воспроизведения аудио. В отличие от инструкции по добавлению текста код по проигрыванию звука уже содержится в шаблоне примера. Нужно только. . .
Установка Android SDK, NDK, JDK, CMake и т.д.
8Observer8 25.01.2026
Содержание блога Перейдите по ссылке: https:/ / developer. android. com/ studio и в самом низу страницы кликните по архиву "commandlinetools-win-xxxxxx_latest. zip" Извлеките архив и вы увидите. . .
Вывод текста со шрифтом TTF на Android с помощью библиотеки SDL3_ttf
8Observer8 25.01.2026
Содержание блога Если у вас не установлены Android SDK, NDK, JDK, и т. д. то сделайте это по следующей инструкции: Установка Android SDK, NDK, JDK, CMake и т. д. Сборка примера Скачайте. . .
Использование SDL3-callbacks вместо функции main() на Android, Desktop и WebAssembly
8Observer8 24.01.2026
Содержание блога Если вы откроете примеры для начинающих на официальном репозитории SDL3 в папке: examples, то вы увидите, что все примеры используют следующие четыре обязательные функции, а. . .
моя боль
iceja 24.01.2026
Выложила интерполяцию кубическими сплайнами www. iceja. net REST сервисы временно не работают, только через Web. Написала за 56 рабочих часов этот сайт с нуля. При помощи perplexity. ai PRO , при. . .
Модель сукцессии микоризы
anaschu 24.01.2026
Решили писать научную статью с неким РОманом
КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2026, CyberForum.ru