5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
|
|
1 | |
Система пакетной обработки файлов на сервере03.02.2017, 10:28. Показов 1615. Ответов 9
Метки нет Все метки)
(
Добрый день.
Хочу решить сложную для себя задачу, так как в этом не разбираюсь вообще. Уже имеется скрипт на python, которому на вход подается список графических файлов и он их добросовестно обрабатывает. Мне необходима веб страница с функцией загрузки "архива?" или "директории?" на "сервер?" или "фтп?", для того чтобы в последующем данные файлы упали на сервер, на котором происходит обработка данных файлов python скриптом. Затем как-то отдать обработанные файлы пользователю. Необходимо как то решить проблему с доступом к ресурсам системы. Скрипт python "обработчик файлов" очень ресурсоемок (использует opencv и cuda) и может быть запущен только в 2-х экземплярах (из-за нехватки памяти gpu). В среднем обработка одного файла занимает от 3 до 9 секунд. Тогда при обращении к ресурсу сразу 2 и более пользователей им придется ждать. Как реализовать данный функционал?
0
|
|
03.02.2017, 10:28 | |
Ответы с готовыми решениями:
9
Найти программу для пакетной обработки файлов word Файлы пакетной обработки Файлы пакетной обработки (задача) |
298 / 256 / 57
Регистрация: 11.06.2012
Сообщений: 1,557
|
|
03.02.2017, 14:55 | 2 |
вебморда с 2 страничками - загрузить файл и список обработанных. При загрузке - грузим файл в одну папку, на сервере. На сервере по крону запускаем скрипт который обрабатывает все эти файлы, и после обработки перемещает результат в другую папку. Другая папка доступна через вебморду.
1
|
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
|
|
03.02.2017, 15:57 [ТС] | 3 |
Zuzik, разве при перезагрузке страницы пользователь не потеряет связь?
Через веб возможно загружать 100, 200.700 файлов?
0
|
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
|
|
03.02.2017, 16:28 | 4 |
Maxfashko, на js можешь реализовать загрузку сколь угодно большого количества данных.
https://m.habrahabr.ru/company... og/265133/ можешь почитать это для того, чтобы расширить кругозор и понять, что тебе нужно сделать
1
|
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
|
|
03.02.2017, 18:11 [ТС] | 5 |
alex925, прочел, интересно. То есть для начала я должен сделать веб интерфейс с поддержкой аутентификации? Пользователь регистрируется, загружает через интерфейс на сервер свои файлы. На сервере крутится "нечто" проверяющее, не загрузил ли пользователь файлы, и как только от браузера приходит ответ, что файлы получены, файлы забирает на обработку python скрипт. После того как он их обработал, скрипт куда то кому то должен сообщить что файлы нужно переместить в определенную директорию или отдать пользователю?
0
|
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
|
|
03.02.2017, 18:33 | 6 |
Примерно так. Если у тебя в сервисе регистрация не предусмотрена и не нужна, то можно самому выдавать токен и по нему ориентироваться.
0
|
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
|
|
03.02.2017, 18:43 [ТС] | 7 |
alex925, хорошо. Как будет реализовано хранение файлов? Ведь в один момент времени сервисом могут пользоваться несколько юзеров.
0
|
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
|
|
03.02.2017, 18:46 | 8 |
Просто на диске, файлы разных пользователей можно банально хранить в разных папках (папка будет тупо иметь название токена выданного пользователю).
1
|
5 / 5 / 2
Регистрация: 28.11.2012
Сообщений: 165
|
|
03.02.2017, 18:55 [ТС] | 9 |
alex925, А что по технологиям? Какие cms, bd использовать? Apache, mysql... что-то еще
0
|
2740 / 2343 / 620
Регистрация: 19.03.2012
Сообщений: 8,832
|
|
03.02.2017, 18:59 | 10 |
![]() Решение
Maxfashko, Зачем тебе в этой задачи какие-то cms?
Лично я бы взял - flask - web фреемворк - nginx - веб сервер - postgres - db (если то, что ты пишешь расчитано на прод, а не на пару человек) - sqlalchemy - для работы с базой из Python
1
|
03.02.2017, 18:59 | |
Помогаю со студенческими работами здесь
10
Используя команды пакетной обработки, создать командный файл
Как прописать пути для пакетной конвертации файлов? Искать еще темы с ответами Или воспользуйтесь поиском по форуму: |