Нужно ли долгий расчет передавать в СУБД

@MConst · Регистрация: 16.04.2022

Студворк — интернет-сервис помощи студентам

Здравствуйте!

Есть такой код.

Кликните здесь для просмотра всего текста

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
import numpy as np
 
height, width, heightFragment, widthFragment, startY, startX, endY, endX   = 300, 600, 50, 100, 0, 0, 250, 1#500
 
assert heightFragment + endY <= height
assert widthFragment + endX <= width
 
listImages = []
 
for i in range(startY, endY, 1):
    for j in range(startX, endX, 1):
        fragment = np.random.randint(0,255, (heightFragment, widthFragment, 3), np.uint8)
        
        newLayer = np.full([height, width, 3], np.nan)       
        newLayer[i:i+heightFragment, j:j+widthFragment] = fragment
        
        listImages.append(newLayer)
           
result = np.nanmean(np.array(listImages),axis=0)

При больших циклах зависает при не мощном компьютере. Скажите, насколько будет оптимальным решением партиями сохранять в базе данных, например, MS SQL и потом там считать среднюю? Или есть другие более оптимальные решения?

Используется Jupiter Notebook. Версия Python 3.9.16. 64 bit. Windows 10. 64-разрядная операционная система, процессор x64. Оперативная память 8 гигабайт.

@supmener · 29.07.2023, 20:34

Встречал такое решение обработки изображения по частям.

Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import numpy as np
import cv2 # Use this library if you're working with images
 
height, width, heightFragment, widthFragment, startY, startX, endY, endX = 300, 600, 50, 100, 0, 0, 250, 1
 
assert heightFragment + endY <= height
assert widthFragment + endX <= width
 
listImages = []
 
# Creating the images
for i in range(startY, endY, 1):
    for j in range(startX, endX, 1):
        fragment = np.random.randint(0,255, (heightFragment, widthFragment, 3), np.uint8)
        newLayer = np.full([height, width, 3], np.nan)       
        newLayer[i:i+heightFragment, j:j+widthFragment] = fragment
        listImages.append(newLayer)
 
# Process the images in batches
batch_size = 100
result = []
 
for i in range(0, len(listImages), batch_size):
    batch = listImages[i:i+batch_size]
    
    # Compute the mean of images in the current batch
    mean_image = np.nanmean(np.array(batch), axis=0)    
    result.append(mean_image)
 
# Compute the overall mean
result = np.nanmean(np.array(result), axis=0)

Также Вам может быть полезно
https://dvc.org/
https://docs.python.org/3/libr... ssing.html
https://docs.python.org/3/libr... tures.html
https://joblib.readthedocs.io/en/stable/
https://numpy.org/
https://pandas.pydata.org/
https://opencv.org/

Добавлено через 2 минуты
Также подсказали:
Версионирование данных полезно при работе с большими наборами данных, такими как изображения, по нескольким причинам.

1. Производительность:
Версионирование данных обычно выполняется на уровне файловой системы, что обеспечивает более высокую производительность по сравнению с базами данных, особенно для больших файлов.

2. Воспроизводимость:
Версионирование данных позволяет легко отслеживать изменения в данных и моделях, что в свою очередь упрощает воспроизводимость результатов.

3. Совместная работа:
Версионирование данных облегчает совместное использование данных и моделей между различными командами и индивидуальными исследователями.

4. Бэкапы и восстановление:
С версионированием данных вы можете легко откатиться к более раннему состоянию данных, если что-то пойдёт не так.

Инструменты, такие как DVC (Data Version Control), обеспечивают эти функции вместе с интеграцией в системы контроля версий, такие как Git.

Однако это не значит, что базы данных или версионирование данных лучше друг друга абсолютно. Оба подхода имеют свои место и могут быть полезны в различных сценариях. Ваш выбор должен основываться на ваших конкретных требованиях, объеме данных и ресурсах.

@MConst · 01.08.2023, 08:25 **[ТС]**

Спасибо!

Новые блоги и статьи Все статьи Все блоги /
делаю науч статью по влиянию грибов на сукцессию anaschu 13.03.2026 прикрепляю статью	SDL3 для Desktop (MinGW): Создаём пустое окно с нуля для 2D-графики на SDL3, Си и C++ 8Observer8 10.03.2026 Содержание блога Финальные проекты на Си и на C++: hello-sdl3-c. zip hello-sdl3-cpp. zip Результат:	Установка CMake и MinGW 13.1 для сборки С и C++ приложений из консоли и из Qt Creator в EXE 8Observer8 10.03.2026 Содержание блога MinGW - это коллекция инструментов для сборки приложений в EXE. CMake - это система сборки приложений. Здесь описаны базовые шаги для старта программирования с помощью CMake и. . .	Как дизайн сайта влияет на конверсию: 7 решений, которые реально повышают заявки Neotwalker 08.03.2026 Многие до сих пор воспринимают дизайн сайта как “красивую оболочку”. На практике всё иначе: дизайн напрямую влияет на то, оставит человек заявку или уйдёт через несколько секунд. Даже если у вас. . .
Модульная разработка через nuget packages DevAlt 07.03.2026 Сложившийся в . Net-среде способ разработки чаще всего предполагает монорепозиторий в котором находятся все исходники. При создании нового решения, мы просто добавляем нужные проекты и имеем. . .	Модульный подход на примере F# DevAlt 06.03.2026 В блоге дяди Боба наткнулся на такое определение: В этой книге («Подход, основанный на вариантах использования») Ивар утверждает, что архитектура программного обеспечения — это структуры,. . .	Управление камерой с помощью скрипта OrbitControls.js на Three.js: Вращение, зум и панорамирование 8Observer8 05.03.2026 Содержание блога Финальная демка в браузере работает на Desktop и мобильных браузерах. Итоговый код: orbit-controls-threejs-js. zip. Сканируйте QR-код на мобильном. Вращайте камеру одним пальцем,. . .	SDL3 для Web (WebAssembly): Синхронизация спрайтов SDL3 и тел Box2D 8Observer8 04.03.2026 Содержание блога Финальная демка в браузере. Итоговый код: finish-sync-physics-sprites-sdl3-c. zip На первой гифке отладочные линии отключены, а на второй включены:. . .

@MConst 2 / 2 / 1 Регистрация: 16.04.2022 Сообщений: 1,032
	01.08.2023, 08:25 [ТС]
	Спасибо! 0