5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
1

Система пакетной обработки файлов на сервере

03.02.2017, 10:28. Показов 1615. Ответов 9
Метки нет (Все метки)

Добрый день.
Хочу решить сложную для себя задачу, так как в этом не разбираюсь вообще.

Уже имеется скрипт на python, которому на вход подается список графических файлов и он их добросовестно обрабатывает.
Мне необходима веб страница с функцией загрузки "архива?" или "директории?" на "сервер?" или "фтп?", для того чтобы в последующем данные файлы упали на сервер, на котором происходит обработка данных файлов python скриптом. Затем как-то отдать обработанные файлы пользователю.
Необходимо как то решить проблему с доступом к ресурсам системы.
Скрипт python "обработчик файлов" очень ресурсоемок (использует opencv и cuda) и может быть запущен только в 2-х экземплярах (из-за нехватки памяти gpu). В среднем обработка одного файла занимает от 3 до 9 секунд. Тогда при обращении к ресурсу сразу 2 и более пользователей им придется ждать.

Как реализовать данный функционал?
0
Лучшие ответы (1)
Programming
Эксперт
94731 / 64177 / 26122
Регистрация: 12.04.2006
Сообщений: 116,782
03.02.2017, 10:28
Ответы с готовыми решениями:

Изменить код с учётом возможности пакетной обработки файлов
Здравствуйте, помогите изменить код , у меня 1000 файлов, как то вписывать каждый О_О жесть. и если...

Найти программу для пакетной обработки файлов word
Хочется найти программу способную осуществлять замену во множестве word файлов. И что бы вместо...

Файлы пакетной обработки
Как просмотреть в каталоге D:\WORK каталог, переданный в качестве первого параметра командного...

Файлы пакетной обработки (задача)
1.Очистить экран 2.Создать католог D:\ Work\Pz-32\Lr2 3.Вывести в файл sysper.txt все системные...

9
298 / 256 / 57
Регистрация: 11.06.2012
Сообщений: 1,557
03.02.2017, 14:55 2
вебморда с 2 страничками - загрузить файл и список обработанных. При загрузке - грузим файл в одну папку, на сервере. На сервере по крону запускаем скрипт который обрабатывает все эти файлы, и после обработки перемещает результат в другую папку. Другая папка доступна через вебморду.
1
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
03.02.2017, 15:57  [ТС] 3
Zuzik, разве при перезагрузке страницы пользователь не потеряет связь?
Через веб возможно загружать 100, 200.700 файлов?
0
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
03.02.2017, 16:28 4
Maxfashko, на js можешь реализовать загрузку сколь угодно большого количества данных.
https://m.habrahabr.ru/company... og/265133/ можешь почитать это для того, чтобы расширить кругозор и понять, что тебе нужно сделать
1
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
03.02.2017, 18:11  [ТС] 5
alex925, прочел, интересно. То есть для начала я должен сделать веб интерфейс с поддержкой аутентификации? Пользователь регистрируется, загружает через интерфейс на сервер свои файлы. На сервере крутится "нечто" проверяющее, не загрузил ли пользователь файлы, и как только от браузера приходит ответ, что файлы получены, файлы забирает на обработку python скрипт. После того как он их обработал, скрипт куда то кому то должен сообщить что файлы нужно переместить в определенную директорию или отдать пользователю?
0
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
03.02.2017, 18:33 6
Примерно так. Если у тебя в сервисе регистрация не предусмотрена и не нужна, то можно самому выдавать токен и по нему ориентироваться.
0
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
03.02.2017, 18:43  [ТС] 7
alex925, хорошо. Как будет реализовано хранение файлов? Ведь в один момент времени сервисом могут пользоваться несколько юзеров.
0
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
03.02.2017, 18:46 8
Просто на диске, файлы разных пользователей можно банально хранить в разных папках (папка будет тупо иметь название токена выданного пользователю).
1
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
03.02.2017, 18:55  [ТС] 9
alex925, А что по технологиям? Какие cms, bd использовать? Apache, mysql... что-то еще
0
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
03.02.2017, 18:59 10
Лучший ответ Сообщение было отмечено Maxfashko как решение

Решение

Maxfashko, Зачем тебе в этой задачи какие-то cms?

Лично я бы взял
- flask - web фреемворк
- nginx - веб сервер
- postgres - db (если то, что ты пишешь расчитано на прод, а не на пару человек)
- sqlalchemy - для работы с базой из Python
1
IT_Exp
Эксперт
87844 / 49110 / 22898
Регистрация: 17.06.2006
Сообщений: 92,604
03.02.2017, 18:59
Помогаю со студенческими работами здесь

Подскажите программу для пакетной обработки фоток
В институте в большом количестве фоткаю тетради, а затем эти фотки просматриваю на читалке. Без...

Используя команды пакетной обработки, создать командный файл
Еще одна задача, реализовать, которую мне не по силе. Используя команды пакетной обработки,...

Технология пакетной обработки springbatch и технология парсинга XML
Всем доброго! Практикую спринг и столкнулся с такой задачей. У меня есть xml файл из которого...

Как прописать пути для пакетной конвертации файлов?
Всем привет! Пытаюсь сделать батник для пакетной конвертации. Не могу разобраться с путями. Если не...


Искать еще темы с ответами

Или воспользуйтесь поиском по форуму:
10
Ответ Создать тему
Опции темы

КиберФорум - форум программистов, компьютерный форум, программирование
Powered by vBulletin
Copyright ©2000 - 2023, CyberForum.ru