Парсер + работа с БД + серьезная аналитика + графические отчеты + веб интерфейс

Здравствуйте!

Задача:
1. Заходить на сайты с нужными мне БД (количество от 1-2 до 1-2 десятков), на страницы с многостраничным списком. Из данного списка (динамическая выдача) уметь открывать по гиперссылкам конечные страницы. В них находить и нажимать нужную кнопку скачать файл, в диалоговом окне веб-интерфейса выбирать нужные параметры файла (нужный формат файла и т.п.) нажимать кнопку скачать данные.
Периодичность - 1 раз в сутки. Количество конечных страниц и скачиваний файлов от нескольких тысяч до нескольких десятков тысяч.
2. Полученные данные записывать в БД.
3. Проводить обработку и аналитику
4. Следующим этапом Ходить по сайтам с текстовой, в основном новостной информацией, ходить по архивам публикаций, новостей, анонсов, анализировать текстовую и графическую информацию, сохранять в БД только нужную информацию, 9не качать в локальные БД всю выборку, а только результаты свобственной аналитики), увязывать результаты 2й работы с результатами первой работы.
Периодичность - 1 раз в сутки. Количество конечных страниц, аналитических действий и скачиваний от нескольких десятков до нескольких тысяч.
5. Выдавать аналитику, строить графики из собранной БД.
6. В таком режиме (наблюдения и аналитики) комплекс проработает 0,5-1 год, и результаты меня могут устраивать локальные в любых локальных формах.
7. В перспективе, когда аналитика будет достаточная, выводить комплекс в веб интерфейс, чтобы аналитикой можно было пользоваться публично и непублично через веб.

Подскажите пож-та, для реализации данной задачи, какие языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего.
Изучать всё придется с нуля.

Заранее Вас благодарю за советы!

0

Perl и его библиотеки для работы с БД (зависит от бд), сетью, PDL, GD::Graph для графиков. Строить графики можно сразу для веб, через генерацию js-файлов с данными (например, через Flot - http://www.flotcharts.org/flot... index.html).

0

Сообщение от aderevnya Подскажите пож-та, для реализации данной задачи, какие языки программирования, инструменты, библиотеки, фреймворки, которые для реализации подойдут больше всего. Изучать всё придется с нуля.

создать свою БД используя OpenOffice для старта попроще будет, если сделаете то вам скажут что дальше изучать, я слушал курс БД лет 10 назад и то подзабыл основные правила, для старта даже не знаю что вам посоветовать читать.

0

Сообщение от kuza84 создать свою БД используя OpenOffice для старта попроще будет

Зачем openoffice? Для старта? А потом что делать? Нормальную БД сразу надо взять - MySQL, PostgreSQL.

0

Сообщение от Velesthau Perl и его библиотеки для работы с БД (зависит от бд), сетью, PDL, GD::Graph для графиков. Строить графики можно сразу для веб, через генерацию js-файлов с данными (например, через Flot - http://www.flotcharts.org/flot... index.html).

Благодарю за ответ!

Да. И еще желательна поддержка модульности, чтобы в будущем отдельные модули конструкции, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.

0

Вы на винде собираетесь хостить или на линуксе?

0

Сообщение от Shamil1 Вы на винде собираетесь хостить или на линуксе?

да, да, винда

0

Сообщение от aderevnya Да. И еще желательна поддержка модульности, чтобы в будущем отдельные модули конструкции, например, работа с графикой, работа с вебом, модуль парсинга можно было реализовывать силами привлеченных сторонних программистов.

Модули в перле есть. То же самое можно и на Python написать.

0

Сообщение от Velesthau Модули в перле есть. То же самое можно и на Python написать.

1. что будет проще в освоении?
2. что будет проще в поддержке, масштабировании, совместной работе нескольких разработчиков?

мне придется изучать всё с нуля, на первом этапе быть разработчиком, в дальнейшем распределять нагрузку между сторонними разработчиками и координировать их работу.

я самостоятельно кодил более 15 лет назад. мой опыт: Delphi 2.0/4.0 , Turbo Pascal, Assembler и всё )))

0

Сообщение от aderevnya да, да, винда

Тогда рекомендую C#.
Проще в освоении, поддержке, масштабировании...

0

Сообщение от Shamil1 Тогда рекомендую C#.

На фиг C#, будешь привязан к оси, и, скорее всего, к БД тоже. Лучше брать нормальное кроссплатформенное решение.

Сообщение от aderevnya 1. что будет проще в освоении?

Скорее всего, python.

Сообщение от aderevnya 2. что будет проще в поддержке, масштабировании, совместной работе нескольких разработчиков?

В принципе, одинаково.

0

Сообщение от Velesthau На фиг C#, будешь привязан к оси, и, скорее всего, к БД тоже.

Не к оси, а к дотнету (.NET). Который, кстати, с открытым исходным кодом.
А к БД майкрософт не привязывался даже в худшие времена стремления к тотальной монополии.

Сообщение от Velesthau Лучше брать нормальное кроссплатформенное решение.

Во-первых, Ваша фраза неявно постулирует некоторые весьма спорные утверждения. ("Вы уже перестали пить портвейн каждое утро?"). Во-вторых, не вижу смысла заморачиваться с поддержкой сценария, который не планируется использовать.

0

Сообщение от Shamil1 Не к оси, а к дотнету (.NET)

Официально поддерживающийся на Винде. Читай "к оси".

Сообщение от Shamil1 Который, кстати, с открытым исходным кодом.

Открытый исходный код ничем пользователю не поможет.

Сообщение от Shamil1 А к БД майкрософт не привязывался даже в худшие времена стремления к тотальной монополии.

Это их не спасло.

Сообщение от Shamil1 Во-первых, Ваша фраза неявно постулирует некоторые весьма спорные утверждения. ("Вы уже перестали пить портвейн каждое утро?"). Во-вторых, не вижу смысла заморачиваться с поддержкой сценария, который не планируется использовать.

Значит, и нет смысла заморачиваться с поддержкой .net-приложений, которые не планируется использовать.
Python + Django и для веба (для C# нет адекватных шаблонизаторов), и для удобной работы с БД. Мощное переносимое решение. Если потом захочется масштабирования - распределенная работа на Linux-кластере, например. И не нужно кучи бабла впустую на Windows Server на каждую машину.

0

Сообщение от Velesthau Официально поддерживающийся на Винде. Читай "к оси".

неверно
ошибочный логический вывод
("http официально поддерживается в IE. Не используйте http, чтобы не привязываться к IE")

Сообщение от Velesthau Открытый исходный код ничем пользователю не поможет.

неверно
но не хочется разводить оффтоп

Сообщение от Velesthau Это их не спасло.

не спасло... от того, что Билл Гейтс стал богатейшим человеком планеты

Сообщение от Velesthau нет смысла заморачиваться с поддержкой .net-приложений, которые не планируется использовать

в контексте цитаты ("поддержка сценария") - это бессмысленное предложение ("нет смысла писать не питоне потому что нет смысла заморачиваться с поддержкой питоновских приложений")
а если говорить о поддержке кода, то для C# это проще и дешевле

Сообщение от Velesthau Python + Django и для веба (для C# нет адекватных шаблонизаторов), и для удобной работы с БД. Мощное переносимое решение.

ASP.NET MVC + Entity Framework, по крайней мере, не хуже
что Вы подразумеваете под шаблонизаторами?

Сообщение от Velesthau Если потом захочется масштабирования - распределенная работа на Linux-кластере, например. И не нужно кучи бабла впустую на Windows Server на каждую машину.

бессмысленно, так как, по условию, продукт будет хоститься на винде
аргумент имел бы смысл, если бы относился к выбору хостинга
чтобы оспаривать выбор хостинга, нужно сначала выяснить причины такого выбора

0

Сообщение от Shamil1 ошибочный логический вывод

Это не вывод, это факт.

Сообщение от Shamil1 неверно но не хочется разводить оффтоп

Ожидаемо.

Сообщение от Shamil1 не спасло... от того, что Билл Гейтс стал богатейшим человеком планеты

Как это относится к вопросу?

Сообщение от Shamil1 в контексте цитаты ("поддержка сценария") - это бессмысленное предложение ("нет смысла писать не питоне потому что нет смысла заморачиваться с поддержкой питоновских приложений") а если говорить о поддержке кода, то для C# это проще и дешевле

C# выйдет дороже в любом случае. Python, perl, php быстрее и проще. Я бы еще C++ написал.

Сообщение от Shamil1 ASP.NET MVC + Entity Framework, по крайней мере, не хуже

привязка к винде и хуже производительность. Тот же PHP уделывает asp.net и по простоте и по производительности. Даже компиляция не помогает.

Сообщение от Shamil1 что Вы подразумеваете под шаблонизаторами?

Я подразумеваю jinja, django template engine, smarty из PHP. Сам perl - это текстовый парсер, рядом с которым C# - многословное неповоротливое создание.

Сообщение от Shamil1 бессмысленно, так как, по условию, продукт будет хоститься на винде

Имеет смысл, так как начать хостится он может на чем угодно, а через день хоститься уже на другой ОС. В случае с .net framework - это проблемы. В случае с python, perl, php мы ничего не теряем, но приобретаем кроссплатфоремнность.

Сообщение от Shamil1 чтобы оспаривать выбор хостинга, нужно сначала выяснить причины такого выбора

Хостинг не имеет значения, когда можно получить все, что нужно + возможность не зависеть от продукта, который был сделан просто с целью хоть как-то переманить людей на свою платформу, а то сервера плохо продаются. За качеством не следили, следили за маркетингом.

0

Сообщение от Velesthau Это не вывод, это факт.

Переход от "Официально поддерживающийся на Винде." к "будешь привязан к оси". Вы утверждаете, что из первого следует второе. Это называется "логический вывод", и данный логический вывод не корректен, что легко доказывается контрпримером.

Сообщение от Velesthau Как это относится к вопросу?

Я не знаю, как Ваше "Это их не спасло." относится к вопросу. И даже не не знаю, не спасло "от чего?".

Сообщение от Velesthau C# выйдет дороже в любом случае. Python, perl, php быстрее и проще.

За счёт чего, по-Вашему, поддержка кода на C# будет дороже, чем на Python? Есть какие-нибудь аргументы?

Сообщение от Velesthau Я подразумеваю jinja, django template engine, smarty из PHP.

Я не знаю, чем Вам не нравятся asp и razor, но при желании Вы можете использовать любой другой движок, включая django. Более того, Вы можете даже для разных частей одной страницы использовать разные движки.

Сообщение от Velesthau Имеет смысл, так как начать хостится он может на чем угодно, а через день хоститься уже на другой ОС. В случае с .net framework - это проблемы. В случае с python, perl, php мы ничего не теряем, но приобретаем кроссплатфоремнность.

Насчёт "ничего не теряем" Вы заблуждаетесь. Ваше утверждение легко опровергается контрпримером (любым примером того, что теряем). Например, если у меня уже есть сервер с виндоуз, то теряется время/деньги на то, чтобы заставить работать django под iis.

0

Сообщение от Shamil1 Переход от "Официально поддерживающийся на Винде." к "будешь привязан к оси". Вы утверждаете, что из первого следует второе. Это называется "логический вывод", и данный логический вывод не корректен, что легко доказывается контрпримером.

К твоему сожалению, не доказывается.

Сообщение от Shamil1 За счёт чего, по-Вашему, поддержка кода на C# будет дороже, чем на Python? Есть какие-нибудь аргументы?

Зачем? Ты не приводишь аргументов в пользу того, что

Сообщение от Shamil1 Проще в освоении, поддержке, масштабировании...

а я должен для тебя напрягаться? Нет уж.

Сообщение от Shamil1 Я не знаю, чем Вам не нравятся asp и razor

Я нейстрально к нему отношусь.

Сообщение от Shamil1 Насчёт "ничего не теряем" Вы заблуждаетесь.

Мы теряем кроссплатформенность.

Сообщение от Shamil1 Ваше утверждение легко опровергается контрпримером

Все твои контрпримеры легко опровергаются официальной страницей compatibility: http://www.mono-project.com/do... atibility/

Сообщение от Shamil1 Например, если у меня уже есть сервер с виндоуз, то теряется время/деньги на то, чтобы заставить работать django под iis.

Если у тебя есть сервер Windows, то тебе нужно ставить компилятор и платформу asp.net, чтобы начать работать. И это то же самое, что я поставлю WAMP стек. Выигрыша у asp.net тут никакого нет.

0

Сообщение от Velesthau К твоему сожалению, не доказывается.

Логическое утверждение вида "если А, то Б"... Достаточно привести один контрпример, чтобы его опровергнуть. Так что доказывается.

Сообщение от Velesthau Мы теряем кроссплатформенность.

Вы только что писали "ничего не теряем", а теперь пишите "теряем кроссплатформенность".

Сообщение от Velesthau Все твои контрпримеры легко опровергаются официальной страницей

Какое отношение Mono имеет к моим контрпримерам?

Сообщение от Velesthau Если у тебя есть сервер Windows, то тебе нужно ставить компилятор и платформу asp.net, чтобы начать работать. И это то же самое, что я поставлю WAMP стек. Выигрыша у asp.net тут никакого нет.

Ну я даже не знаю, как Вам объяснить, что "уже есть" означает, "уже есть всё, что надо"...

Вы видимо не в курсе, что для того, чтобы скомпилировать C# на компьютере с установленной Windows (кроме совсем древних), ничего не нужно устанавливать. Это простительно. Но как Вы можете не знать, что не требуется компилировать программы на хост-сервере?
И я Вам скажу больше - обычно у разработчика нет доступа к серверу, на котором хостится приложение. Администрированием сервера обычно занимается (системный) администратор. И он не может нести ответственность за работоспособность сервера, если у кого-то ещё есть туда доступ с правами, достаточными для установки приложения или создания веб-сайта.

0

Сообщение от Shamil1 Достаточно привести один контрпример

Их все равно нет.

Сообщение от Shamil1 Вы только что писали "ничего не теряем", а теперь пишите "теряем кроссплатформенность".

Да, в случае с виндой и асп.

Сообщение от Shamil1 Какое отношение Mono имеет к моим контрпримерам?

Единственный рабочий рантайм для никсов.

Сообщение от Shamil1 Вы видимо не в курсе, что для того, чтобы скомпилировать C# на компьютере с установленной Windows (кроме совсем древних), ничего не нужно устанавливать. Это простительно.

Писать код и компилировать будет, конечно Пушкин встроенный в винду.

Сообщение от Shamil1 На сервер Windows ничего не нужно ставить, чтобы на нём работало ASP.NET MVC приложение.

Приложение сначала нужно написать и собрать.

Сообщение от Shamil1 Можно написать и скомпилировать программу на C#, используя стандартную ("чистую") установку Ubuntu.

1. Можно написать и запустить программу на Python и Perl. И что?
2. Ubuntu на серваке не нужна. Есть куча других дистрибутивов + BSD.

Сообщение от Shamil1 Но как Вы можете не знать, что не требуется компилировать программы на хост-сервере?

Компилируй, где хочешь, никакой разницы тут с питоном, перлом, пхп нет вообще. На никсах тоже ничего ставить не нужно. А где кто собрался писать код - дело третье. Хоть на том же серваке, хоть на другой машине. Тут винда ни в чем не выигрывает.

Сообщение от Shamil1 И я Вам скажу больше - обычно у разработчика нет доступа к серверу, на котором хостится приложение. Администрированием сервера обычно занимается (системный) администратор. И он не может нести ответственность за работоспособность сервера, если у кого-то ещё есть туда доступ с правами, достаточными для установки приложения или создания веб-сайта.

У разработчика есть доступ к приложению на сервере. И он может сам выбрать сервер и все, что на нем хочет видеть.

Добавлено через 6 минут
Исходя из всего этого, надо спокойно ставить Python, Perl, PHP. Для этой задачи подходит идеально, работает легко безо всякой среды, проектов и прочей ненужной лабуды, которая неминуема при обучении C#. И не стоит ничего.

Добавлено через 21 минуту

Сообщение от Shamil1 Проще в освоении, поддержке, масштабировании...

И раз уж нет доказательств, что он проще в освоении, поддержке и масштабировании, то это утверждение ложно. C# не нужно использовать, а просто "можно". На крайний случай.

0

Сообщение от Velesthau Тут винда ни в чем не выигрывает.

Вы не хотите понять или не способны понять или просто тролите? Хорошо, попробую ещё раз... подробней.

У каждого человека своя ситуация. У некоторых людей ситуация такая, что у них УЖЕ установлено всё, что нужно для хостинга асп.нет приложения. Уже есть виндоуз сервер и уже есть специалист, который его администрирует. И в таком случае человек теряет много, устанавливая джангу ради гипотетической кросплатформенности, которая ему никогда не понадобится.

Сообщение от Velesthau У разработчика есть доступ к приложению на сервере.

В конторах, в которых нет особых требований к отказоустойчивости, возможно. Но существуют конторы, в которых разработчики не имеют доступа к "продакшен/релиз" серверам. И любое приложение на сервер будет устанавливать администратор.

Сообщение от Velesthau Исходя из всего этого, надо

Ну, если учесть, что то, из чего Вы исходите, не верно, то и выводам не стоит доверять.

Сообщение от Velesthau Для этой задачи подходит идеально, работает легко безо всякой среды, проектов и прочей ненужной лабуды, которая неминуема при обучении C#.

C# тоже может работать "безо всякой среды". Пишите в нотепаде, компилируйте из командной строки,... Только вряд ли это можно считать плюсом.
Гораздо эффективнее использовать удобную IDE - Visual Studio. (есть и бесплатные версии)

Добавлено через 3 минуты

Сообщение от Velesthau И раз уж нет доказательств, что он проще в освоении, поддержке и масштабировании, то это утверждение ложно.

Опять у Вас проблемы с логикой. Для Вас любое недоказанное утверждение является ложным?

0