Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

Здравствуйте!

Задача:
1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
2. Полученные данные записывать в БД.
3. Проводить обработку и аналитику
4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
5. Выдавать аналитику, строить графики из собранной БД.
6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

Подскажите пож-та, для реализации данной задачи, какие языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего.
Изучать всё придется с нуля.

Заранее Вас благодарю за советы!

0

Сообщение от Shamil1 У каждого человека своя ситуация. У некоторых людей ситуация такая, что у них УЖЕ установлено всё, что нужно для хостинга асп.нет приложения. Уже есть виндоуз сервер и уже есть специалист, который его администрирует. И в таком случае человек теряет много, устанавливая джангу ради гипотетической кросплатформенности, которая ему никогда не понадобится.

Надо уметь поднимать голову и смотреть вперед, а не только у себя под ногами. Ну и ASP.NET с IIS нужно на винде устанавливать.

Сообщение от Shamil1 В конторах, в которых нет особых требований к отказоустойчивости, возможно. Но существуют конторы, в которых разработчики не имеют доступа к "продакшен/релиз" серверам. И любое приложение на сервер будет устанавливать администратор.

Если бы, да кабы. Для ASP.NET, Python, PHP, Perl в контексте задачи - без разницы, кто будет заниматься сервером.
Распарсить данные, залить их в бд, посчитать статистику, сгенерировать на ее основе график на вебе - парочка скриптов обычном текстовом редакторе. Я уже несколько лет это делаю в Perl-скрипте под Windows и Linux.

Сообщение от Shamil1 # тоже может работать "безо всякой среды". Пишите в нотепаде, компилируйте из командной строки,...

Кроме голословного утверждения приведешь пример? Вот я поставил Windows 10 (или, допустим Windows Server 2012 DataCenter) на чистую на машину. Как говоришь там с C# в блокноте поднять asp.net на iis?

Сообщение от Shamil1 Опять у Вас проблемы с логикой. Для Вас любое недоказанное утверждение является ложным?

Все недоказанное ложно, пока не будет доказано. Это как раз по логике. Почитай про чайник Рассела.

Добавлено через 6 минут

Сообщение от Shamil1 C# тоже может работать "безо всякой среды". Пишите в нотепаде, компилируйте из командной строки,...

Это я в курсе. Но я либо не замечал никогда, либо не обращал внимания, но в дефолтной установке винды, компилятор для шарпа вроде как не вставал ни разу.

Сообщение от Shamil1 Гораздо эффективнее использовать удобную IDE - Visual Studio.

Эффективность работы в VS - спорное устверждение.

0