Хранение обученной модели в памяти

@tdn680000 · Регистрация: 04.10.2018

Студворк — интернет-сервис помощи студентам

Всем привет
Пробуем использовать встроенную в SQL Server возможность запуска Python скриптов в целях машинного обучения

Все ок, кроме скорости. Документация Microsoft предлагает хранить обученную модель в таблице как код, полученный сериализацией модулем _pickle. И каждый раз при использовании модели этим же модулем десериализовывать.
pickle.loads занимает больше 2 секунд. Каждый запуск SQL процедуры запускает новый процесс python, потом закрывает его.

Как можно организовать хранение обученной модели в памяти?
На stackoverflow нашел рекомендацию развернуть приложение flask и хранить в ней десериализованные модели. Но как к ним обращаться из другого процесса python, понять не могу. Помогите разобраться плиз

@IRIP · 05.10.2018, 11:36

tdn680000, попробуйте mongodb, и списки словарей

Добавлено через 38 секунд
на ssd или в оперативке - будет быстро

Как вариант, еще sqlite3 в оперативной памяти

@dondublon · 05.10.2018, 15:18

Сообщение от tdn680000

Каждый запуск SQL процедуры запускает новый процесс python, потом закрывает его.

Если так - вероятно, много времени уходит на запуск процесса. Тогда логичный выход - держать процесс в памяти постоянно.

В любом случае, требуется проверка, определите время работы собственно процедуры десериализации и сравните с временем работы процесса.

Также сомнительно, что pickle тут оптимален. Он же там "под капотом" создаёт объекты. Если ваша модель в виде keras, то у него своя процедура save-load, based on hdf5, должно работать быстрее.

Добавлено через 4 минуты

Сообщение от tdn680000

На stackoverflow нашел рекомендацию развернуть приложение flask и хранить в ней десериализованные модели.

flask - это, грубо говоря, про передачу http-запроса в питон и ответа обратно. Хранением он не занимается. Теоретически, пойдёт в качестве реализации вышеописанного предложения постоянно крутящегося процесса, но возможно, будет слишком "далеко" от клиента.

@tdn680000 · 05.10.2018, 15:34 **[ТС]**

Сообщение от dondublon

В любом случае, требуется проверка, определите время работы собственно процедуры десериализации и сравните с временем работы процесса.

2 секунды занимает именно pickle. я неправильно выразился, говоря что процесс закрывается. процессы остаются висеть какое-то время. но десериализация все равно выполняется при каждом запуске процедуры. код без pickle выполняется почти мгновенно.

Сообщение от dondublon

Если ваша модель в виде keras, то у него своя процедура save-load, based on hdf5, должно работать быстрее.

модель catboost. Там тоже есть свой метод сохранения, но выполняется так же долго.

Думаю, лучше все же отказаться от этой затеи с SQL server. И развернуть отдельный веб-сервер на том же Flask.

@IRIP · 05.10.2018, 15:45

Сообщение от tdn680000

Думаю, лучше все же отказаться от этой затеи с SQL server. И развернуть отдельный веб-сервер на том же Flask.

либо postgresql + django (если нужно работать с интерфейсами то + vuejs)

Новые блоги и статьи Все статьи Все блоги /
Midnight Chicago Blues kumehtar 24.03.2026 Такой Midnight Chicago Blues, знаешь?. . Когда вечерние улицы становятся ночными, а ты не можешь уснуть. Ты идёшь в любимый старый бар, и бармен наливает тебе виски. Ты смотришь на пролетающие. . .	Контроль уникальности заводского номера - вариант №2 Maks 24.03.2026 В отличие от предыдущего варианта добавлено прерывание циклов, также добавлены новые переменные для сохранения контекста ошибки перед прерыванием цикла: Процедура ПередЗаписью(Отказ, РежимЗаписи,. . .	SDL3 для Desktop (MinGW): Вывод текста со шрифтом TTF с помощью библиотеки SDL3_ttf на Си и C++ 8Observer8 24.03.2026 Содержание блога Финальные проекты на Си и на C++: finish-text-sdl3-c. zip finish-text-sdl3-cpp. zip	Жизнь в неопределённости kumehtar 23.03.2026 Жизнь — это постоянное существование в неопределённости. Например, даже если у тебя есть список дел, невозможно дойти до точки, где всё окончательно завершено и больше ничего не осталось. В принципе,. . .
Модель здравоСохранения: работники работают быстрее после её введения. anaschu 23.03.2026 geJalZw1fLo Корпорация до введения программа здравоохранения имела много невыполненных работниками заданий, после введения программы количество заданий выросло. Но на выплатах по больничным это. . .	Контроль уникальности заводского номера - вариант №1 Maks 23.03.2026 Алгоритм контроля уникальности заводского (или серийного) номера на примере документа выдачи шин для спецтехники с табличной частью. Данные берутся из регистра сведений, по которому настроено. . .	Хочу заставить корпорации вкладываться в здоровье сотрудников: делаю мат модель здравосохранения anaschu 22.03.2026 e7EYtONaj8Y Z4Tv2zpXVVo https:/ / github. com/ shumilovas/ med2. git	Программный отбор элементов справочника по группе Maks 22.03.2026 Установка программного отбора элементов справочника "Номенклатура" из модуля формы документа. В качестве фильтра для отбора справочника служит группа номенклатуры. Отбор по наименованию группы. . .

@tdn680000 0 / 0 / 0 Регистрация: 04.10.2018 Сообщений: 4

	Хранение обученной модели в памяти 04.10.2018, 16:40. Показов 1608. Ответов 4 Метки нет (Все метки) Всем привет Пробуем использовать встроенную в SQL Server возможность запуска Python скриптов в целях машинного обучения Все ок, кроме скорости. Документация Microsoft предлагает хранить обученную модель в таблице как код, полученный сериализацией модулем _pickle. И каждый раз при использовании модели этим же модулем десериализовывать. pickle.loads занимает больше 2 секунд. Каждый запуск SQL процедуры запускает новый процесс python, потом закрывает его. Как можно организовать хранение обученной модели в памяти? На stackoverflow нашел рекомендацию развернуть приложение flask и хранить в ней десериализованные модели. Но как к ним обращаться из другого процесса python, понять не могу. Помогите разобраться плиз 0

@IRIP 514 / 146 / 28 Регистрация: 18.04.2015 Сообщений: 1,904 Записей в блоге: 16
	05.10.2018, 11:36
	tdn680000, попробуйте mongodb, и списки словарей Добавлено через 38 секунд на ssd или в оперативке - будет быстро Как вариант, еще sqlite3 в оперативной памяти 1